Divergence controls entropy in distillation
散度选择控制蒸馏中的熵变化
🧭 LLM 蒸馏目标的熵效应
Stanford University
证明 forward KL 抬高学生熵、reverse KL 压低熵，散度成为隐式熵正则器
📌 工作参考价值（4 点）
- 蒸馏生成式推荐或 query 生成模型时，按输出分布需求选散度：forward KL 会抬高学生熵，适合增加候选多样性/探索性；reverse KL 压低熵，适合需要集中、高置信输出的广告文案、push 文案等场景，但需注意 student-teacher 差距过大时 reverse KL 会欠拟合。
- on-policy 蒸馏中低熵主要来自 token-level reverse KL，而非 on-policy 采样本身；如果 RL/on-policy 训练后模型行为过于 deterministic，可以直接调整 token 级散度损失，而不必改动采样数据策略。
- 使用 interpolated KL 时，训练早期熵变化平滑、收敛时突变；可在训练中监控熵曲线，在收敛前设置早停或动态温度，避免熵崩溃损伤生成多样性。
- self-distillation 中 teacher 拥有特权特征会降低 student 熵，此时应调节散度超参或 softmax 温度做补偿；在电商 teacher-student 迁移中，student 无法使用用户实时行为等特权信息时，可提高 forward KL 权重或降低温度以保持输出多样性。